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1 自 适应 采样 与 重建 


本 文 旨 在 探索 . 
产生 的 样本 点 不 足 时 ， 绘 和 


总 结 使 用 深度 强化 学 习 进 行 蒙 托 卡 洛 自 适应 光 场 采样 与 重建 方向 的 前 沿 进展 。 在 使 用 蒙 托 卡 洛 算法 进行 全 局 光照 明 绘 和 
中 结果 会 包含 有 大 量 的 噪点 ， 严重 影响 结 


绘制 结果 进行 降 噪 滤波 ， 这 可 以 看 作 是 一 种 后 处 理 的 重建 方案 [12 


给 


片 。 但 是 进行 物理 真实 感 的 绘制 是 非常 耗 时 的 ， 需 要 使 有 
对 各 种 方法 进行 了 深入 研究 处 理 这 个 问题 。 在 需要 交互 帧 率 的 实时 


光 场 空间 滤波 (用 于 显示 光 场 ) 是 常见 的 解决 方案 。 然而， 有 偏 绘制 不 适 月 


HAAN ce A 


BETRA O, 所 要 解决 的 问题 是 如 


EFIE 
浙江 大 学 


果 的 可 用 性 。 为 了 这 一 问 


可 高 效 高 质地 计算 光 能 


昌 蒙 托 卡 洛 积分 来 求解 著名 的 演 染 方程 [14], 


绘制 应 用 领域 ， 对 含有 噪 


日 于 设计 、 物 理 仿真 、 深 度 学 习 的 训练 数据 人 


HET, WAR BARE 


rl, SLR TT IEA Bap 一 是 通过 神经 网 络 或 者 其 他 方法 对 


三 维 世 界 中 的 传播 ， 以 使 用 更 短 的 时 间 生 成 


; 本 文 介绍 第 二 种 方法 ， 即 在 采样 过 程 中 对 路 径 追 踪 生 成 蒙 托 卡 洛 样 本 的 过 程 加 以 引导 ， 
以 提高 最 终 绘制 结果 的 质量 ， 这 是 对 采样 进行 过 程 进行 优化 的 方案 。 


具有 物理 真实 感 的 图 


积分 通常 需要 大 量 的 采样 样本 才能 达到 收敛 。 已 经 


点 的 绘制 结果 进行 有 偏 的 图 像 空 间 滤 波 (用 于 显示 单 张 图 片 ) 和 


EE 成、 以 及 其 他 对 质量 有 较 高 要 求 绘制 


应 用 中 。 在 某 些 绘制 应 用 ， 数 学 偏差 、 系 统 误差 或 者 微小 方差 造成 时 域 不 连续 现象 都 是 不 可 接受 的 。 此 时 ， 可 以 先 重建 像素 上 的 入射 辐射 场 ( 光 场 )， 和 物 


体 表 面 的 双向 反射 分 布 函 


就 能 通过 采样 很 少 的 蒙 托 卡 洛 样本 生成 数学 上 无 侦 的 绘制 结果 。 


学 界 一 直 在 关注 光 场 自 适应 采样 和 重建 方法 。Jensen 等 人 提出 月 
导 路 径 追 踪 采 样 方向 的 概率 函数 。 基 于 这 一 工作 ，Budge 等 人 提出 了 一 种 特殊 的 PDF 表示 来 有 效 地 泻 染 
法 碗 代 更 新 高 斯 混合 模型 (GMM) 的 参数 ， 以 估计 入 射 光 场 PDF[19]。 后 续 的 工作 基于 俄 罗 
[6, 20]. Hua 等 人 使 月 


虚拟 点 光源 代替 光子 追踪 算法 对 入 射 加 射 度 进行 逼近 [7]. Silt, Mil 
来 表示 可 在 线 学 习 的 入 射 光 场 17]。 此 外 ， 在 线 的 学 习 回 归 方 法 也 被 有 


数 (BRDF) 进行 混合 ， 作 为 引导 蒙 托 卡 洛 采样 的 概率 分 布 函数 (PDF). WREE PDF 能 够 很 好 地 通 近 真实 的 绘制 函数 分 布 ， 


光子 追踪 算法 估计 入 射 光 场 [13 引 ， 通 过 计算 入 射 球 面 上 的 光子 数 直方 图 ， 生 成 能 够 引 
集散 效果 [2]. Vorba 等 人 提出 了 使 用 在 线 训 练 方 
斯 轮 盘 赌 算法 改进 了 这 种 方法 ， 并 将 之 扩展 到 双向 散射 分 布 函数 
ler 等 人 提出 了 使 用 空间 方向 四 维 空间 中 的 混合 四 叉 树 数据 结构 
于 采样 面向 直接 照明 的 入 射 光 场 函数 以 引导 采样 [18]。 
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(a) Image-direction space (b) Sampling in (c) Q-values of (d) Adaptive sampling and (d) Reconstruction 
direction space adaptive actions partition in direction space and rendering result 


图 1: 光 场 自 适应 采样 与 重建 过 程 [11]。 


2 使 用 强化 学 习 进行 莹 托 卡 洛 应 采样 与 重建 


上 述 经 典 的 自 适 应 采样 与 重建 方法 是 使 用 基于 先 验 手动 设计 的 模型 在 单一 场景 上 进行 在 线 学 习 ， 以 拟 合 一 个 未 知 的 人 射 光 场 函 数 。 最 近 , Huo 等 人 提出 
利用 跨 场景 的 离线 数据 来 训练 深度 神经 网 络 [11] ， 以 更 好 地 进行 蒙 托 卡 洛 自 适 应 采样 与 重建 。 该 研究 提出 训练 两 个 不 同 的 网 络 ， 分 别称 为 质量 评估 网 络 (Q 
网 络 ) 和 重建 网 络 〈R 网 络 ) ， 并 使 用 大 量 离线 数据 集 来 训练 两 个 网 络 ， 其 中 R 网 是 一 个 四 维 卷 积 网 络 ， 用 于 将 稀 玻 采样 且 含 有 大 量 噪音 的 人 射 辐射 场 滤波 
重建 为 无 噪音 的 密集 入 射 辆 射 场 ，Q 网 络 是 则 是 基于 深度 强化 学 习 策 略 训练 得 到 ， 用 于 指导 获得 稀 茧 样本 的 采样 过 程 ， 以 提高 采样 的 效率 。 

整个 绘制 流水 在 运行 时 的 流程 如 图 1 所 示 。(a) 首先 将 图 像 空间 划分 为 不 小 的 区 块 。(b) 每 个 区 块 内 的 像素 共享 的 同一 个 方向 空间 ， 使 用 统一 的 格子 结构 
离散 化 方向 空间 作为 初始 化 ， 并 在 每 个 块 中 随机 生成 样本 点 。(c) 使 用 训练 好 的 Q 网 络 来 预测 在 每 个 区 块 内 进行 “采样 动作 ”所 能 期 望 获 得 的 收益 。 收 益 是 
指 网 络 预测 出 来 的 进行 采样 后 所 能 获得 的 质量 提升 ， 在 训练 Q 网 络 时 ， 质 量 的 提升 通过 比较 R 网 络 的 输出 与 Ground Truth 图 像 的 差 来 获得 。“ 采 样 动作 ” 
包括 两 种 ， 第 一 种 是 加 重 采 样 ， 将 区 块 对 应 方向 空间 内 的 样本 数 加 倍 ; 第 二 种 是 细 化 采样 空间 ， 是 指 将 指定 的 采样 空间 方向 区 域 划 分 为 粒度 更 小 的 格子 ， 以 
更 好 地 重建 区 域内 的 高 频 细 节 。 在 得 到 预测 的 价值 图 后 ， 算 法 选取 可 以 获得 最 大 收益 的 动作 执行 。(d) 展示 了 将 初始 方向 空间 使 用 细 化 采样 空间 的 操作 后 得 
到 的 新 的 采样 方向 层次 结构 。(e) 最 后 使 用 R 网 络 将 稀 琉 的 采样 点 重建 为 密集 的 人 射 辐射 场 ， 便 可 用 于 路 径 引 导 或 直接 显示 等 不 同 的 应 用 。 

图 2 是 R 网 络 和 Q 网 络 的 训练 方法 。 训 练 数据 集 包 括 20 个 不 同 的 场景 ， 并 配 以 随机 生成 的 视角 ， 并 随机 修改 场景 的 照明 、 材 质 和 纹理 ， 一 共生 成 了 大 
约 300 个 场景 。 对 于 每 个 配置 ， 生 成 了 由 不 同 采样 个 数 和 分 辨 率 的 Ground Truth 光 场 数据 ， 所 包含 的 每 块 采 样 点 个 数 为 (1 2 4 8, 16) 五 种 ， 包 含 的 分 辨 
率 为 (161,16?,163,164,165) 五 种 。 这 些 数据 首先 被 用 来 训练 R 网 络 ， 使 其 达到 收敛 并 能 很 好 地 将 稀疏 采样 重建 为 密集 的 无 噪 光 场 。 收 敛 后 的 R 网 络 被 用 
来 训练 Q 网络， 训练 同 样 基于 相同 的 数据 集 ， 但 是 使 用 了 随机 强化 学 习 算法 来 模拟 实际 采样 过 程 的 数据 分 布 情 况 以 防止 数据 耦合 。 为 了 使 Q 网 络 学 习 某 个 
采样 动作 带 来 的 收益 ， 方 法 将 采样 动作 前 后 的 采样 点 数据 同时 送信 R 网 络 中 ， 以 得 到 两 个 不 同 的 重建 结果 ， 通 过 将 重建 结果 与 Ground Truth 数据 进行 比 
对 ， 可 以 计算 出 该 采样 动作 能 带 来 的 误差 下 降幅 度 ， 也 就 是 收益 。 如 果菜 个 动作 能 产生 更 高 的 收益 ， 训 练 后 的 Q 网 络 会 引导 蒙 托 卡 洛 采样 过 程 优先 采取 该 
的 动作 。 
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图 2: R 网 络 和 Q 网 络 双 网 络 的 训练 流程 [11]。 


3 ” 自 适 应 采样 与 重建 结 末 


图 3 展示 了 基于 强化 学 习 的 离线 学 习 方 法 与 传统 的 在 线 学 习 方法 进行 无 偏 绘制 的 一 个 比较 。 这 一 场景 属于 绘制 中 较 难 处 理 的 类 型 ， 由 于 半 掩 的 窗子 和 
存在 大 量 遮挡 物 ， 路 径 追 踪 算 法 很 难 生 成 连接 摄像 机 与 光源 的 有 有 效 光 路 ， 场 景 中 充满 了 大 量 噪点 。 普 通 的 路 径 追 踪 算 法 在 这 一 场景 中 会 产生 大 噪点 ， 而 
MEMLT 虽然 在 开阔 区 域 的 生成 结果 比较 平滑 ， 但 它 的 主要 问题 是 几何 边界 上 无 法 有 效 收敛 ,含有 大 量 错 误 。GMM 和 SD-tree 方法 具有 相似 的 工件 模式 ， 
都 是 通过 在 线 学 习 的 方法 拟 合 一 个 人 射 光 场 的 分 布 ， 用 于 生成 PDF 以 引导 路 径 追 踪 算 法 。 两 种 方法 在 开 益 区 域 都 可 以 较 好 地 降 噪 ， 但 是 在 含有 复杂 遮挡 的 
阴影 区 域 , 尤其 是 房间 中 间 的 桌子 底下 ,都 生成 了 大 量 品 点 ,说 明 通 过 简单 的 共享 邻 域 光 线 的 方法 在 线 重建 入 射 光 场 ， 可 能 会 因为 不 考虑 可 见 性 而 生成 大 量 
错误 。 新 方法 与 之 相 比 ,不 仅 Q 网 络 通过 强化 学 习 的 策略 大 量 学 习 了 离线 数据 集 的 经 验 数据 ， 可 以 自 适应 地 预测 不 同 区 域 的 采样 效率 ， 同 时 还 通过 R 网 络 
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Ours Ref. 


( T aa 
(a) PT (b) MEMLT (c) GMM (d) SD-tree (e) Ours (£) Reference (g) Distribution 
rMSE 0.0064 rMSE 0.019 rMSE 0.15 rMSE 0.15 rMSE 0.0035 


图 3: 基于 强化 学 习 的 蒙 托 卡 洛 自 适应 光 场 采样 与 重建 方法 与 传统 无 偏 绘制 算法 进行 比较 。 其 中 图 (a) 是 路 径 追 踪 算 法 ， 图 (b) 是 Metropolis 路 径 追 踪 算 
法 , 图 (c) 和 图 (d) 是 基于 传统 在 线 学 习 重 建 PDF 函数 的 路 径 引 导 算法 [19, 17], 图 (e) 是 文章 所 提 的 基于 强化 学 习 的 蒙 托 卡 洛 自 适应 光 场 采样 与 重建 进行 
引导 的 路 径 引 导 算 法 ,图 (£) 是 使 用 32k SPP 生成 的 参考 图 像 。 图 (g) 是 (c)(d)(e) 三 种 路 径 引 导 算 法 重建 出 来 的 入射 光 场 分 布 图 (绿色 点 处 )， 通过 与 参考 
光 场 (Ref.) 的 比较 ， 可 看 出 GMM 及 SD. 都 无 法 捕捉 分 布 的 峰值 。[11] 


对 采样 结果 进行 降 品 ， 有效 避免 了 错误 引导 及 重建 结果 造成 的 负面 影响 ， 比 GMM, SD-tree 和 MEMLT 的 重建 误差 低 了 超过 一 个 数量 级 ， 比 PT 也 低 了 2 
倍 左右 。 


4 ”总结 与 扩展 内 容 


在 这 项 研究 中 ,研究 者 提出 了 两 种 新 宁 的 深度 学 习 网 络 ，R 网 络 和 Q， 用 于 入 射 鲍 射 场 的 自 适 应 采样 和 重建 ， 这 也 是 首次 将 强化 学 习 的 技术 引入 蒙 托 
卡 洛 自 适应 采样 的 框架 中 。 除 了 在 无 偏 绘制 和 光 场 重建 的 应 用 中 取得 了 最 好 的 结果 之 外 , 方法 还 为 图 形 学 领域 一 些 难以 生成 监督 数据 的 困难 问题 提供 了 基于 
深度 学 习 的 解决 思路 ， 即 通过 将 复杂 问题 拆 分 为 简单 的 原子 操作 ， 并 通过 强化 学 习 的 框架 来 学 习 一 个 自 适应 的 渐进 优化 过 程 。 
与 基于 物理 过 程 的 光 能 计算 相关 的 推荐 扩展 内 容 : 
1. 基于 深度 学 习 的 蒙 托 卡 洛 降 噪 通 过 离线 学 习 的 方法 训练 一 个 神经 网 络 降 噪 器， 可 以 将 含 品 的 蒙 托 卡 洛 绘制 结果 滤波 为 高 质量 的 光滑 输出 ， 大 大 提升 了 
基于 物理 的 绘制 技术 的 可 用 性 上 1， 常见 的 研究 包括 基于 g-buffer 去 预测 一 个 滤波 核 [1]， 使 用 GAN 来 生成 更 具 真 实感 的 滤波 结果 [24 ， 对 路 径 空间 
特征 进行 流 形 对 比 学 习 以 强化 反射 的 绘制 效果 [3]， 使 用 权重 共享 的 方式 快速 地 预测 绘制 核 以 加 速 重 建 [5]， 对 高 维 的 入 射 辐射 场 进行 滤波 重建 以 进行 


1 


10 


11 


12 
13 


无 偏 绘制 的 引导 [11], SESE. 


2. 多 光 绘 制 框架 是 路 径 追 踪 算 法 外 一 个 重要 的 绘制 框架 ， 其 基本 思想 是 将 经 过 多 次 折射 反射 的 完整 光路 照明 传输 模拟 简化 为 计算 来 自 许 多 虚拟 光源 的 直 


接 照明 的 ， 并 提供 了 统一 的 数学 框架 来 加 速 这 一 运算 由 ， 研 究 包 容 包括 如 何 高 效 处 理 外 存 中 的 虚拟 点 光源 和 几何 数据 [21]， 如 何 使 用 稀 疏 矩阵 和 压缩 
感知 的 方法 高 效 积分 虚拟 点 光源 [10]， 以 及 如 何 处 理 半 透明 介质 中 的 虚拟 线 沧 源 数据 [9]， 使 用 球面 高 斯 虚拟 点 光源 有 逼近 光泽 表面 的 间接 反射 ， 等 
等 。 


3. 绘制 流水 线 的 自动 优化 通过 优化 绘制 管线 将 高 质量 绘制 技术 应 用 与 实时 的 绘制 应 用 中 ， 研 究 内 容 包括 基于 质量 和 速度 的 自动 优化 [22]， 以 节能 为 目标 


的 自动 优化 [23, 25] ， 对 地 形 数据 的 LOD 优化 [16]， 管 线 绘制 信号 自动 优化 拟 合 [15]， 等 等 。 
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